网络爬虫怎么加代理

requests调用代理

　　import requests

　　proxy='123.58.10.36:8080' #本地代理

　　#proxy='username:password@123.58.10.36:8080'

　　proxies={

　　'http':'http://'+proxy,

　　'https':'https://'+proxy

　　}

　　try:

　　response=requests.get('http://httpbin.org/get',proxies=proxies)

　　print(response.text)

　　except requests.exceptions.ConnectionError as e:

　　print('错误:',e.args)

Selenium调用代理
selenium加上代理，selenium主要是实现自动化登录验证等操作

from selenium import webdriver
proxy='123.58.10.36:8080'
chrome_options=webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
browser=webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')

调用 ProxyHandler 添加 代理

from urllib import request

url = 'www.baidu.com'

# 设置代理
handler = request.ProxyHandler({'http':'ip:port'})
opener = request.bulid_opener(handler)

# 发送请求
req = request.Request(url=url)
response = opener.open(req)

在 scrapy下载中间件添加代理
middlewares.py 自定义一个代理类，重写 process_request 方法

class MyDaiLi(object):
  """docstring for MyDaiLi"""
   # 重写这个方法
   def process_request(self, request, spider):
         request.meta['proxy'] = 'http://ip:port'

settings.py （第55行）打开下载中间件，并将自定义的 MyDaiLi添加进去

DOWNLOADER_MIDDLEWARES = {   'daili_loginproject.middlewares.MyDaiLi': 543,
 }